回帰分析 - 06

傾き,\(\Large \displaystyle \hat{a_1} \),の分散

次はいよいよ,\(\Large \displaystyle \hat{a_1} \),の分散の推定です.もういちどおさらいするとは最初の頁から誤差を含めて,

\(\Large \displaystyle Y_i = a_0 + a_1 X_i + u_i \)

でした.n個のデータのそれぞれの平均をとると,

\(\Large \displaystyle \sum_{i=1}^n Y_i = \sum_{i=1}^n a_0 + \sum_{i=1}^n a_1 X_i + \sum_{i=1}^n u_i\)

となります,ここで,

\(\Large \displaystyle \bar{Y} = \frac{1}{n} \sum_{i=1}^n Y_i \)

\(\Large \displaystyle \bar{X} = \frac{1}{n} \sum_{i=1}^n X_i \)

\(\Large \displaystyle \bar{u} = \frac{1}{n} \sum_{i=1}^n u_i \)

とすると,

\(\Large \displaystyle \bar{Y} = a_0 + a_1 \bar{X} + \bar{u} \)

となります.したがって,

\(\Large \displaystyle Y_i - \bar{Y} = a_1 \left( X_i - \bar{X} \right) + ( u_i - \bar{u}) \)

と記すことができます.

 

\(\Large \displaystyle \hat{a_1} \),の書き換え

前頁から,\(\Large \displaystyle \hat{a_1} \)は,

\(\Large \displaystyle \hat{a_1} = \frac{\sum_{i=1}^{n} \left(X_i - \bar{X} \right) \left(Y_i - \bar{Y} \right)}{\sum_{i=1}^{n} \left( X_i - \bar{X} \right)^2} \)

でしたので,上記の式を代入すると,

\(\Large \displaystyle \hat{a_1} = \frac{\sum_{i=1}^{n} \left(X_i - \bar{X} \right) \left\{a_1 \left( X_i - \bar{X} \right) + ( u_i - \bar{u}) \right\}}{\sum_{i=1}^{n} \left( X_i - \bar{X} \right)^2} \)

となります.式を分けると,

\(\Large \displaystyle \hat{a_1} = \frac{\sum_{i=1}^{n} \left(X_i - \bar{X} \right) \left\{a_1 \left( X_i - \bar{X} \right) \right\}}{\sum_{i=1}^{n} \left( X_i - \bar{X} \right)^2} + \frac{\sum_{i=1}^{n} \left(X_i - \bar{X} \right) ( u_i - \bar{u}) }{\sum_{i=1}^{n} \left( X_i - \bar{X} \right)^2}
\)

となりますが,第一項の分子分母がきれいになるので,

\(\Large \displaystyle \hat{a_1} = a_1 + \frac{\sum_{i=1}^{n} \left(X_i - \bar{X} \right) ( u_i - \bar{u}) }{\sum_{i=1}^{n} \left( X_i - \bar{X} \right)^2}
\)

さらに,第二項を分けると

\(\Large \begin{eqnarray} \displaystyle \hat{a_1} &=& a_1 + \frac{\sum_{i=1}^{n} \left(X_i - \bar{X} \right) u_i }{\sum_{i=1}^{n} \left( X_i - \bar{X} \right)^2}
- \frac{\sum_{i=1}^{n} \left(X_i - \bar{X} \right) \bar{u} }{\sum_{i=1}^{n} \left( X_i - \bar{X} \right)^2} \\
&=& a_1 + \frac{\sum_{i=1}^{n} \left(X_i - \bar{X} \right) u_i }{\sum_{i=1}^{n} \left( X_i - \bar{X} \right)^2}
- \frac{\bar{u} \sum_{i=1}^{n} \left(X_i - \bar{X} \right) }{\sum_{i=1}^{n} \left( X_i - \bar{X} \right)^2} \\
\end{eqnarray} \)

第三項の分子の総和部分は,

\(\Large \displaystyle = \sum_{i=1}^{n} \left(X_i - \bar{X} \right) \)

\(\Large \displaystyle = \sum_{i=1}^{n} X_i - n \bar{X} \)

\(\Large \displaystyle = n \bar{X} - n \bar{X} = 0 \)

となり,消えるので,

\(\Large \begin{eqnarray} \displaystyle \hat{a_1} &=& a_1 + \frac{\sum_{i=1}^{n} \left(X_i - \bar{X} \right) u_i }{\sum_{i=1}^{n} \left( X_i - \bar{X} \right)^2} \\
&=& a_1 + \sum_{i=1}^{n} \omega_i u_i \\
\end{eqnarray} \)

となります.ここで,

\(\Large \displaystyle \omega_i = \frac{\sum_{i=1}^{n} \left(X_i - \bar{X} \right) }{\sum_{i=1}^{n} \left( X_i - \bar{X} \right)^2} \)

とします.

 

\(\Large \displaystyle \hat{a_1} \),の分散

傾きの推定値,\(\Large \displaystyle \hat{a_1} \),の分散は,

\(\Large \displaystyle V \left[\hat{a_1} \right] =V \left[ a_1 + \sum_{i=1}^{n} \omega_i u_i \right] \)

となりますが,
 第一項,β,は定数なので分散は0
 第二項,のωiは,Xiの項なので,定数(Xは誤差を持たないと仮定しているので)

に注意すると,

\(\Large \displaystyle V \left[\hat{a_1} \right] =V \left[a_1 + \sum_{i=1}^{n} \omega_i u_i \right] = V \left[ \sum_{i=1}^{n} \omega_i u_i \right]= \sum_{i=1}^{n} \omega_i^2 V[u_i ]= \sigma^2 \sum_{i=1}^{n} \omega_i^2 \)

となります,ここで,

\(\Large \displaystyle V[u_i ] \equiv \sigma^2 \)

です.次に,\(\Large \displaystyle \sum_{i=1}^{n} \omega_i^2 \),を整理しましょう.

\(\Large \displaystyle \sum_{i=1}^{n} \omega_i^2 = \frac{\sum_{i=1}^{n} \left(X_i - \bar{X} \right)^2 }{\left\{ \sum_{i=1}^{n} \left( X_i - \bar{X} \right)^2 \right\}^2}
= \frac{1 }{\sum_{i=1}^{n} \left( X_i - \bar{X} \right)^2} \)

と簡単になるので,

\(\Large \displaystyle \color{red}{V \left[ \hat{a_1} \right] = \sigma^2 \sum_{i=1}^{n} \omega_i^2
= \frac{\sigma^2 }{\sum_{i=1}^{n} \left( X_i - \bar{X} \right)^2}} \)

となります.

 

では,次に切片,\(\Large \displaystyle \hat{a_0} \),の分散を求めていきましょう.

 

l t r